3D point cloud registration is a fundamental problem in computer vision and robotics. Recently, learning-based point cloud registration methods have made great progress. However, these methods are sensitive to outliers, which lead to more incorrect correspondences. In this paper, we propose a novel deep graph matching-based framework for point cloud registration. Specifically, we first transform point clouds into graphs and extract deep features for each point. Then, we develop a module based on deep graph matching to calculate a soft correspondence matrix. By using graph matching, not only the local geometry of each point but also its structure and topology in a larger range are considered in establishing correspondences, so that more correct correspondences are found. We train the network with a loss directly defined on the correspondences, and in the test stage the soft correspondences are transformed into hard one-to-one correspondences so that registration can be performed by a correspondence-based solver. Furthermore, we introduce a transformer-based method to generate edges for graph construction, which further improves the quality of the correspondences. Extensive experiments on object-level and scene-level benchmark datasets show that the proposed method achieves state-of-the-art performance. The code is available at: \href{https://github.com/fukexue/RGM}{https://github.com/fukexue/RGM}.
translated by 谷歌翻译
电力消耗预测对于一个国家的能源计划至关重要。在启用机器学习模型中,支持向量回归(SVR)已被广泛用于设置预测模型,因为其对看不见的数据的卓越概括。但是,预测建模的一个关键过程是特征选择,如果选择不正确的功能,这可能会损害预测准确性。在这方面,在本研究中采用了修改的离散粒子群优化(MDPSO)进行特征选择,然后构建了MDPSO-SVR混合模式来预测未来的电力消耗。与其他完善的对应物相比,MDPSO-SVR模型在两个现实世界中的电力消耗数据集中始终如一地表现最好,这表明用于功能选择的MDPSO可以提高预测准确性,并且配备了MDPSO的SVR可以是电力替代方案。消费预测。
translated by 谷歌翻译
聚类函数(例如对数或差异)满足了许多代数身份。对于对数,所有身份都来自产品规则。对于Diologarithm和更高的经典细分线虫,这些身份可能涉及五个或更多功能。在与粒子物理学相关的许多计算中,聚集体的复杂组合通常来自Feynman积分。尽管集成产生的初始表达通常简化,但通常很难知道要应用哪些身份以及按什么顺序应用。为了解决这种瓶颈,我们探索机器学习方法可以帮助您。我们考虑了一种强化学习方法,在该方法中,身份类似于游戏中的动作,也是变压器网络方法,在该方法中,该问题类似于语言翻译任务。尽管这两种方法都是有效的,但变压器网络似乎更强大,并且在数学物理学中的符号操纵任务中实现了实际使用的希望。
translated by 谷歌翻译
Self-training (ST) has prospered again in language understanding by augmenting the fine-tuning of pre-trained language models when labeled data is insufficient. However, it remains challenging to incorporate ST into attribute-controllable language generation. Augmented by only self-generated pseudo text, generation models over-emphasize exploitation of the previously learned space, suffering from a constrained generalization boundary. We revisit ST and propose a novel method, DuNST to alleviate this problem. DuNST jointly models text generation and classification with a shared Variational AutoEncoder and corrupts the generated pseudo text by two kinds of flexible noise to disturb the space. In this way, our model could construct and utilize both pseudo text from given labels and pseudo labels from available unlabeled text, which are gradually refined during the ST process. We theoretically demonstrate that DuNST can be regarded as enhancing exploration towards the potential real text space, providing a guarantee of improved performance. Experiments on three controllable generation tasks show that DuNST could significantly boost control accuracy while maintaining comparable generation fluency and diversity against several strong baselines.
translated by 谷歌翻译
视觉语言预处理框架中的语言方式是天生离散的,在语言词汇中赋予每个单词是语义含义。相比之下,视觉方式本质上是连续和高维的,这可能禁止视觉和语言方式之间的对齐和融合。因此,我们建议通过联合学习一本赋予每个视觉令牌语义的代码手册来“离散”视觉表示。然后,我们利用这些离散的视觉语义作为自我监督的基础真相来构建我们的蒙版图像建模目标,这是蒙版语言建模的对应物,证明了语言模型成功。为了优化代码簿,我们扩展了VQ-VAE的配方,该配方提供了理论保证。实验验证了我们在常见视觉基准测试中的方法的有效性。
translated by 谷歌翻译
联合学习(FL)已成为机器学习中的实用且流行的范式。但是,目前,没有系统的解决方案涵盖不同的用例。从业者经常面临如何为其用例选择匹配的FL框架的挑战。在这项工作中,我们提出了Unifed,这是对现有开源FL框架进行标准化评估的第一个统一基准。在15个评估方案中,我们从功能,可用性和系统性能的角度出发了9个现有流行开源的FL框架的定性和定量评估结果。我们还根据基准结论提供有关框架选择的建议,并指出未来的改进方向。
translated by 谷歌翻译
在过去的几年中,在各种文本生成任务中见证了各种自动编码器的优势。但是,由于文本的顺序性质,自动回归解码器倾向于忽略潜在变量,然后降低到简单的语言模型,称为KL消失的问题,当VAE与基于变压器的结构结合时,这将进一步恶化。为了改善这个问题,我们提出了一种新型变化变压器框架Della。德拉(Della)从较低层的层中得知一系列层的潜在变量,每个变量都从下层的层中推断出,并通过低级张量产品与隐藏状态紧密耦合。通过这种方式,Della强迫这些后部潜在变量将其与整个计算路径深入融合,从而结合了更多信息。从理论上讲,我们可以将我们的方法视为纠缠潜在变量,以避免通过层减少后验信息,从而使DELLA即使没有任何退火或阈值技巧,也可以使DELLA获得更高的非零KL值。与多个强大的基线相比,对四个无条件和三个条件生成任务的实验表明,Della可以更好地减轻KL消失并改善质量和多样性。
translated by 谷歌翻译
多个实例学习(MIL)广泛用于分析组织病理学全幻灯片图像(WSIS)。但是,现有的MIL方法不会明确地对数据分配进行建模,而仅通过训练分类器来歧视行李级或实例级决策边界。在本文中,我们提出了DGMIL:一个特征分布引导为WSI分类和阳性贴剂定位的深度MIL框架。我们没有设计复杂的判别网络体系结构,而是揭示组织病理学图像数据的固有特征分布可以作为分类的非常有效的指南。我们提出了一种集群条件的特征分布建模方法和基于伪标签的迭代特征空间改进策略,以便在最终特征空间中,正面和负面实例可以轻松分离。 CamelyOn16数据集和TCGA肺癌数据集的实验表明,我们的方法为全球分类和阳性贴剂定位任务提供了新的SOTA。
translated by 谷歌翻译
为了策划高质量的数据集,识别内部和外部来源之间的数据方差是一个基本和关键的步骤。但是,尚未显着研究检测数据移位或差异的方法。对此的挑战是缺乏学习DataSet的密集代表和在医疗机构分享私人数据的困难的有效方法。为了克服这些问题,我们提出了一个统一的管道,称为MedShift以检测顶级移位样本,从而促进医疗策序。给定内部数据集A作为基础源,我们首先为每类数据集A列车以以无人监督的方式学习内部分布。其次,在不交换跨源的情况下,我们在每个类的外部数据集b上运行训练的异常检测器。具有高异常分数的数据样本被识别为移位数据。为了量化外部数据集的换档,我们将B的数据基于所获得的分数群集分组。然后,我们通过逐渐删除每个类的最大异常分数来测量B的多级分类器并测量与分类器的性能方差的班次。此外,我们还调整数据集质量指标,以帮助检查多个医疗源的分布差异。我们验证了来自肌肉骨骼射线照片(Mura)和胸部X射线数据集的MedShift的疗效,来自多个外部源。实验表明我们所提出的移位数据检测管道对医疗中心有益,以更有效地策划高质量的数据集。一个接口介绍视频,可视化我们的结果可在https://youtu.be/v3bf0p1sxqe上获得。
translated by 谷歌翻译
变压器是一个潜在强大的视觉任务架构。虽然配备了更多的参数和关注机制,但其性能并不像目前的CNN占主导地位。 CNN通常在计算上更便宜,仍然是各种视觉任务中的领先竞争对手。一项研究方向是采用CNN的成功思路,改善变压器,但它往往依赖于详细阐述和启发式网络设计。观察变压器和CNN在代表学习和收敛速度中是互补的,我们提出了一个称为Vision对学习(VPL)的有效训练框架,用于图像分类任务。 VPL构建由变压器分支,CNN分支和对学习模块组成的网络。通过多级培训策略,VPL使分支机构能够在培训过程的适当阶段来从合作伙伴中学到,并使它们均以更少的时间成本实现更好的性能。没有外部数据,VPL促进VIT-BASE和RESET-50对Imagenet-1K验证的前1个精度分别设定为83.47%和79.61%。各个域的其他数据集上的实验证明了VPL的功效,并表明变压器在与VPL中的不同结构CNN配对时更好地执行。我们还通过消融研究分析了组件的重要性。
translated by 谷歌翻译